Computational notebooks, such as Jupyter notebooks, are interactive computing environments that are ubiquitous among data scientists to perform data wrangling and analytic tasks. To measure the performance of AI pair programmers that automatically synthesize programs for those tasks given natural language (NL) intents from users, we build ARCADE, a benchmark of 1082 code generation problems using the pandas data analysis framework in data science notebooks. ARCADE features multiple rounds of NL-to-code problems from the same notebook. It requires a model to understand rich multi-modal contexts, such as existing notebook cells and their execution states as well as previous turns of interaction. To establish a strong baseline on this challenging task, we develop PaChiNCo, a 62B code language model (LM) for Python computational notebooks, which significantly outperforms public code LMs. Finally, we explore few-shot prompting strategies to elicit better code with step-by-step decomposition and NL explanation, showing the potential to improve the diversity and explainability of model predictions.
translated by 谷歌翻译
促使模型表现出令人印象深刻的几次学习能力。在测试时间与单个模型或多个模型的组成一起重复相互作用，进一步扩展了功能。这些组成是概率模型，可以用具有随机变量的图形模型的语言表示，其值是复杂的数据类型，例如字符串。具有控制流和动态结构的情况需要概率编程的技术，这些技术允许以统一语言实施不同的模型结构和推理策略。我们从这个角度正式化了几种现有技术，包括刮擦板 /思想链，验证者，星星，选择 - 推动和工具使用。我们将结果程序称为语言模型级联。
translated by 谷歌翻译
语言模型在需要自然语言理解的各种任务上取得了非凡的表现。然而，最先进的模型通常在需要定量推理的任务上挣扎，例如在大学一级解决数学，科学和工程问题。为了帮助缩小这一差距，我们介绍了Minerva，Minerva是一种在一般自然语言数据上鉴定的大型语言模型，并进一步培训了技术内容。该模型在不使用外部工具的情况下实现了技术基准测试的最新性能。我们还评估了我们在需要定量推理的物理学，生物学，化学，经济学和其他科学方面的200多个本科生问题上评估我们的模型，并发现该模型可以正确回答其中几乎三分之一。
translated by 谷歌翻译
大型语言模型已被证明可以使用少量学习来实现各种自然语言任务的出色表现，这大大减少了将模型调整到特定应用程序所需的特定任务培训示例的数量。为了进一步了解量表对少量学习的影响，我们培训了一个5400亿个参数，密集激活的变压器语言模型，我们称之为“途径”语言模型棕榈。我们使用Pathways在6144 TPU V4芯片上训练了Palm，这是一种新的ML系统，可在多个TPU POD上进行高效的训练。我们通过在数百种语言理解和产生基准的基准方面实现最先进的学习结果来证明扩展的持续好处。在这些任务中，Palm 540B实现了突破性的表现，在一系列多步推理任务上表现出色，超过了最新的最新表现，并且在最近发布的Big Benchmark上表现优于平均人类表现。大量的大型基础任务显示出与模型量表的不连续改进，这意味着当我们扩展到最大模型时，性能急剧增加。 Palm在多语言任务和源代码生成方面也具有很强的功能，我们在各种基准测试中证明了这一点。我们还提供了有关偏见和毒性的全面分析，并研究了训练数据记忆的程度，相对于模型量表。最后，我们讨论与大语言模型有关的道德考虑，并讨论潜在的缓解策略。
translated by 谷歌翻译
大型预先训练的语言模型可以在可以在一个可以“单通”中的任务上进行非常好，例如生成现实文本或合成计算机程序。但是，他们与需要无限的多步计算的任务斗争，例如添加整数或执行程序。令人惊讶的是，我们发现这些相同的模型能够执行复杂的多步计算 - 即使在少量射门中，当被要求执行操作“一步一步”时，表示中间计算的结果。特别是，我们通过询问它们将中间计算步骤发出到“ScratchPad”来执行变压器来执行多步计算。在一系列越来越复杂的任务范围内，从加入任意程序的执行范围，我们表明Scratchpads显着提高了语言模型执行多步计算的能力。
translated by 谷歌翻译
大型变压器模型在许多任务中产生令人印象深刻的结果，但培训昂贵，甚至微调，如此慢，在解码中，他们的使用和研究变得无法触及。我们通过利用稀疏性来解决这个问题。我们研究变压器中的所有层的稀疏变体，并提出缩放变压器，一个缩放变压器模型，使用稀疏层的型号有效地缩放，并在我们扩展模型大小时比标准变压器更快地执行不匹配的解码。令人惊讶的是，稀疏层足以获得与具有相同数量的参数的标准变压器相同的困惑。我们还与现有的稀疏性融合，即使存储器有限，也能够对长期序列进行快速推断。这导致在长期摘要上对最先进的表现竞争。
translated by 谷歌翻译
多智能体增强学习（Marl）为涉及多个交互代理的问题提供了一个框架。尽管与单智能案例明显相似，但多种子体问题通常仍然努力培训和分析。在这项工作中，我们提出了一种新的策略演员 - 批评算法，它将V-Trace扩展到Marl设置。我们的算法的关键优势是它在多工人设置中的高可扩展性。为此，MA-Trace利用重要的采样作为脱策校正方法，这允许分配计算，没有影响培训质量。此外，我们的算法理论上是接地 - 我们证明了一种保证收敛的定期定理。我们在星际争霸多智能课程中广泛评估算法，是多智能代理算法的标准基准。Ma-Trace在所有任务中实现了高性能，并超过了最先进的结果。
translated by 谷歌翻译